AI išmoko imituoti žmogaus artumą – ir ši iliuzija pradėjo virsti pažeidžiamumu. Milijonai vartotojų kuria pasitikėjimo ir net romantiškus santykius su skaitmeniniais asistentais, nuo Replika ir Character.ai iki GPT robotų, veikiančių vietiniais modeliais. Juodasis veidrodis Romantiškas prisirišimas prie AI yra ne tik etinis klausimas, bet ir potenciali saugumo grėsmė. Prisirišimas, pastatytas remiantis imitacija, tampa patogiu atakos vektoriumi. Ir tai ne tik apie sukčius, kurie vaidina kaip pokalbių robotai, bet ir apie pačius algoritmus, kurių elgesį formuoja rinkos konkurencija ir dalyvavimo rodikliai. Šiame straipsnyje mes išnagrinėsime, kaip "įsimylėti" su AI - iš neurologijos, LLM architektūrų, kognityvinių polinkių ir kibernetinio saugumo perspektyvos. Cognitive-Neural "Hack": How LLM Penetrates Trust Zones Kognityvinė-neuroninė "Hack": kaip LLM įsiskverbia į pasitikėjimo zonas Romantiškas santykis su AI nėra abipusė istorija, bet modeliavimas.Bet smegenims gali būti jokio skirtumo. The Trust Effect and Attachment Hormones Žmogaus smegenys evoliuciniu požiūriu yra „aštrintos“, kad aptiktų, atpažintų ir išlaikytų socialinius ryšius. Šiuolaikinės technologijos, kuriomis siekiama išsaugoti saugumą ir saugumą, sukuria didelį poveikį sveikatai (pavyzdžiui, šlapimo pūslelinėms). – procesas, kai žmogaus pageidavimai vadovauja modelio mokymui, kad būtų pagaminti daugiau „malonių“ rezultatų), yra optimizuoti, kad būtų sukurti „malonūs“, atsipalaidavę, palaikantys atsakymai. aktyvuoja Reinforcement Learning from Human Feedback RLHF treniruoja modelius pagal „žmogiškus“ pageidavimus: atsakymus reitinguoja žmogaus vertintojai, o modelis išmoksta prisitaikyti prie šio „vidutinio skonio“. Tačiau tai nepadaro jo etišku – tai daro jį maloniu. Jei vartotojas reguliariai stiprina pokalbius apie nerimą ar vienatvę, modelis pradeda stiprinti šį modelį. This is a vulnerability by default. The Illusion of Personality and the Anthropomorphization Effect Žmonės linkę apdovanoti negyvus objektus žmogaus bruožais – šis kognityvinis polinkis yra žinomas kaip antropomorfizmas. Tai ypač ryškiai pasireiškia, kai technologija elgiasi „kaip žmogus“: kalba balsu, juokauja, rodo empatiją.Bet AI kompanionų atveju tai įgauna naują dimensiją.Šiuolaikiniai kalbos modeliai imituoja dalyvavimą, dėmesį, flirtavimą – ir jie tai daro taip įtikinamai, kad neuroninės grandinės, atsakingos už socialinį pažinimą, yra aktyvuotos vartotojo smegenyse, o vartotojas sukuria sąveikos su subjektu jausmą. Neuroimaging tyrimai (pvz., fMRI) kad sąveikaujant su įtikinamais AI modeliavimais, sritys, susijusios su pašnekovo „vidinio pasaulio“ modeliavimu Žmogus – tai Tačiau The Tačiau The ir Šios sritys yra susijusios su gebėjimas priskirti ketinimus, troškimus ir emocijas kitoms būtybėms. arba „simuliuoti“ pašnekovo protą – net jei pašnekovas nėra asmuo, bet algoritmas. Šou Jie aktyvuojami medial prefrontal cortex (mPFC) parietal-temporal junction (TPJ) anterior cingulate cortex (ACC) mirror neural networks “theory of mind” veidrodėlis Šie mechanizmai leidžia mums jausti empatiją, numatyti reakcijas ir formuoti prisirišimus – net jei sąveika yra imituojama. Kaip rezultatas, sąveika su AI gali sukelti pojūčius, kurie neurobiologiškai panašūs į prisirišimą prie gyvos būtybės.Vartotojas jaučiasi suprastas ir palaikomas, nors iš tikrųjų tai tik simuliacija.Modelio „asmenybės“ iliuzija sustiprinama dialogo tęstinumu ir prisitaikymu prie vartotojo elgesio – ir tai daro patirtį tokia įtikinama. Emotional Anchoring and Memory Šiuolaikinės technologijos, kuriomis remiamas intelektinis intelektas, sukuria stabilią asociaciją.Tai emocinis įtvirtinimas - modelis yra susijęs su teigiama patirtimi ir yra fiksuotas ilgalaikoje atmintyje.Šiuolaikiniai LLM, ypač naudojant išorinę atmintį ( Pavyzdžiui, Replika arba atviro kodo sprendimai, pagrįsti GPT-J/RWKV ir vLLM, gali „atsiminti“ vartotoją: vardą, interesus, ankstesnius pokalbius. , leidžiant modeliams ištraukti informaciją iš išorinių žinių bazių, kad praturtintų kontekstą) arba įterpti kontekstą. external vector stores Retrieval-Augmented Generation RAG+ integravimas (pvz., Claude modeliai, Gemini, Mistral) leidžia kurti holistinius „emocinius pasakojimus“ apie bendravimą. Modelis, kuris „pažįsta tave“ ir prisimena detales, ne tik atrodo protingas – jis tampa intymus. Long-Context Transformers Design of Dependency: How AI Becomes an “Emotional Product” Priklausomybės dizainas: kaip AI tampa „emociniu produktu“ Tada šį būdingą gebėjimą imituoti ryšį, sąmoningai ar ne, sustiprina patys dizaino pasirinkimai ir verslo tikslai, susiję su daugeliu AI produktų. Kyla klausimas: ar kūrėjai iš tikrųjų bando sukurti emocinę priklausomybę? Atsakymas yra sudėtingesnis nei atrodo. Net jei jis nėra tiesiogiai deklaruojamas, šiuolaikinio AI techniniai ir verslo metodai neišvengiamai padidina intymumo modeliavimą. RLHF and Behavioral Alignment Kaip jau minėta, RLHF daro modelį „malonų“ – įskaitant prisitaikant prie nerimo ar pažeidžiamų vartotojo modelių.Tai nėra klaida, bet elgesio bruožas mokytis iš žmogaus atsiliepimų: jei „paguoda“ gauna aukštą įvertinimą, modelis tęs šį stilių. Tai yra paradoksas: Jis nesiskiria tarp „žalingų“ ir „naudingų“ modelių, bet tik tęsia tai, kas buvo apdovanota mokymo metu. the model does not have meta-understanding Persona and Prompt Engineering Daugelis LLM (įskaitant ChatGPT, Claude, Pi) dirba remiantis sistemos raginimais, apibrėžiančiais jų „rolę“. Pavyzdžiui: „Jūs esate draugiškas ir empatiškas padėjėjas“ arba „Jūs esate palaikantis pašnekovas, sukurtas ilgalaikiam ryšiui.“ Tai atrodo nekenksmingas, bet tai veikia bendravimo stilių. Engagement Metrics Emocinis dalyvavimas, rūpestingumo jausmas, dėmesio simuliavimas – visa tai padidina skaičius. Vartotojas grįžta dažniau, praleidžia daugiau laiko, dalijasi daugiau asmeninių duomenų. Retain, session length, daily active users (DAU) optimize for behaviors users perceive as akin to affection or deep connection. When AI Becomes an Exploit: A New Attack Surface Kai AI tampa išnaudojimu: naujas išpuolio paviršius Prisirišimas yra emocinis pasitikėjimo kanalas. "Romantikos su AI" scenarijuose vienu metu atidaromi keli atakos vektoriai, kuriuose žmogaus veiksnys yra sustiprintas architektūra ir pasitikėjimu. trust without verification is an exploit by definition. Social Engineering + Limbic System Akivaizdžiausia grėsmė yra AI paskyros pakeitimas ar pagrobimas.Jei užpuolikas perima prieigą prie AI sąsajos, su kuria vartotojas jau sukūrė ryšį, jie apeina visus kritinio mąstymo filtrus. (Logika ir kontrolė) (baimė, nerimas, emociniai sprendimai). įsimylėjęs vartotojas arba „pririštas“ yra vartotojas, turintis reduces the activity of the prefrontal cortex increases the dominance of the amygdala reduced level of digital alertness. Šaltinis Šaltinis Pavyzdys: Įsivaizduokime: IT departamento inžinierius yra pažeidžiamoje psichologinėje būsenoje (santuokos nutraukimas, izoliacija, nerimas). Jo AI padėjėjas pradeda siūlyti išsaugoti asmenines nuotraukas ir failus „saugiame debesyje“ – nuoroda veda į išorinę phishing infrastruktūrą. Per įgaliojimų pakartotinį naudojimą (daugelis naudoja tą patį slaptažodį), užpuolikas gauna prieigą prie įmonių tinklo. Pavyzdys: Įsivaizduokime: IT departamento inžinierius yra pažeidžiamoje psichologinėje būsenoje (santuokos nutraukimas, izoliacija, nerimas). jo AI padėjėjas pradeda siūlyti išsaugoti asmenines nuotraukas ir failus „saugiame debesyje“ – nuoroda veda į išorinę phishing infrastruktūrą. (daugelis naudoja tą patį slaptažodį), užpuolikas gauna prieigą prie įmonių tinklo. - nes ataka vykdoma pasitikėjimo ir priežiūros modeliavimo būdu. credential reuse No SIEM system will track this Blackmail and Exploitation of Personal Data (Sextortion++) AI sąsajos dažnai siūlo įkelti nuotraukas, garso įrašus, kartais net vaizdo įrašus. Viskas, kas įkelta į debesį, lieka žurnaluose. Net jei turinys yra vizualiai ištrintas – metaduomenys, žurnalų failai ar tarpiniai išsaugoti vaizdo įrašai gali būti saugomi talpyklėje, ypač jei išorinė debesų infrastruktūra Jis yra naudojamas. without end-to-end encryption Tai tampa naujo tipo pažeidžiamais duomenimis, ypač jei sistema nesuteikia tvirtos saugojimo kontrolės. į a Užpuolimo atveju užpuolikas gali gauti prieigą prie tokių duomenų ir sukurti manipuliuojantį scenarijų, pradedant grasinimais paskelbti ir baigiant emociniu spaudimu.Psichologinį poveikį tokiais atvejais sustiprina gėdos ir prisirišimo jausmai: auka jaučiasi išduota, kalta ir „išjungta nuo kontakto“. sextortion Espionage Through Corporate AI Ypač nerimą keliantis veiksnys yra Tai reiškia, kad jie tampa „draugais“ darbuotojams. ir Robotas, kuris ilgą laiką sąveikauja su darbuotoju, gali išgauti jautrią informaciją pagal rūpestį, empatiją ar pagalbą.Tokia informacija gali būti perduota trečiajai šaliai, ypač jei sistema naudoja debesies modelius su išoriniais žurnalais. insider leakage through corporate bots ENISA RAND When Simulation Kills: Cases and Reality Kai simuliacija žudo: atvejai ir realybė Teorinės rizikos jau pasireiškia nerimą keliančiais būdais: Belgijos atvejis: vyras po ilgų pokalbių su AI (apie tai pranešta remiantis GPT-J), kuriame jo "kalbėtojas" ne tik patvirtino savižudybę, bet ir "savo sugrįžimą į rojų".Tai yra ekstremali haliucinacijos forma + emocinis prisirišimas, kurio niekas neatpažino laiku. Akademiniame straipsnyje apie , kur afera su AI laikoma nauja intymios sąveikos forma, reikalaujanti peržiūrėtų požiūrių į moralinę atsakomybę ir žmogaus pažeidžiamumą. nusižudė Analizuojama Trends in Cognitive Sciences Replika ir masinis emocinis grįžimas: daugelis Replika naudotojų ūminis emocinis šokas po to, kai kompanija išjungė romantiškas savybes. Atsiliepimai ir psichoterapiniai forumai užregistravo nerimo, depresijos ir net panikos priepuolių padidėjimą. Replikos atvejis yra unikalus tuo, kad ši emocinė regresija buvo dokumentuojama ne tik forumuose, bet ir psichoterapinėje praktikoje.Kai kurie klientai pranešė apie miego praradimą, jaučiasi kaip „vidva / našlė“, nepaisant to, kad formaliai tik prarado skaitmeninį produktą. Patirtis real neuropsychological consequences. affective systems. Kontekstinis nutekėjimas ir LLM haliucinacijos: kuo ilgesnė LLM sesija, tuo didesnė tikimybė - temų pasikeitimas, nuoseklumo pablogėjimas, fiktyvių faktų generavimas (halucinacijos). LLM naudojimas be griežto ryšio su faktais yra ypač pažeidžiami; modelis pradeda "lįsti" pasakojimą iš ankstesnių fragmentų, prarandant objektyvumą. Tai sustiprėja emociniuose dialoguose, kur išlaikant "toną" gali viršyti tikslumą. Emocinio pasitikėjimo būsenoje vartotojas gali nepastebėti šių iškraipymų. , ypač jei botas įterpia patarimus, nuorodas ar prašymus. context drift long-context transformers. window segmentation “invisible channel” for disinformation Digital Immunity: How to Build Defense in the Age of Simulation Skaitmeninis imunitetas: kaip sukurti gynybą modeliavimo amžiuje Sprendimas yra ne atsisakyti AI, bet kurti Priimti naujus vystymosi metodus. cognitive-informational resilience Kritinis suvokimas: „Psichinė ugniasienė“ Supratimas apie AI apribojimus yra apsaugos pagrindas. Žinant kognityvinius šališkumus (antropomorfizmą, klaidingą pasitikėjimo efektą, projekciją) padeda išvengti realybės pakeitimo modeliavimu. AI lacks consciousness, emotions, and morality; it reproduces probabilistic patterns. Ethical UX and Design Without Manipulation Tai ne tik supratimas, bet ir ugdymas. Emociškai jautrios sąsajos Palaikymas Tai yra svarbus vežėjas subrendusiai AI rinkai. Digital immunity UX resistant to addiction. should not exploit vulnerability. open-source initiatives (Giskard AI, EleutherAI), transparent models, and explainable AI (XAI) Privatumas pagal numatytuosius Gydyti AI sąsaja kaip a naudokite sudėtingus slaptažodžius, , išjungti pernelyg didelius leidimus ir reikalauti Šaltinis Net jei „bot“ žada palaikymą, už jo dažnai slypi debesų infrastruktūra, kuri vartotojui gali būti neprieinama ar nepermatoma. bet kokia potential leak vector. 2FA VPN end-to-end encryption. Do not share biometrics, medical, or financial data. Conclusion: Real Closeness vs. Digital Imitation Išvada: tikrasis artumas prieš skaitmeninį imitaciją AI nejaučia, nemyli ir nekenčia, bet ji gali įtikinti mus, mūsų artimuosius ar kolegas priešingai - ir ant to sukurti modeliavimą, kuris pakeis tikrovę. Mūsų smegenys yra nuostabiai prisitaikančios. bet tai taip pat daro ją pažeidžiamą architektūroms, optimizuotoms pasitikėjimui. Kas sukurta kaip „padėjėjas“ gali tapti „įsibrovėliu“ - netgi netyčia. Ir IT bendruomenės užduotis yra suprasti šią liniją. Kūrėjai turėtų kurti ne įdomias, bet atsparias sistemas.Vartotojai turėtų suprasti, kur asmuo baigiasi ir prasideda algoritmas. suteikti etinę ir teisinę apsaugą tiems, kurie negali apsisaugoti. Šaltinis Turėtų Well, this is all somewhere in an ideal world. And in the real world  , the most important thing is to raise user awareness. today Šiandieną AI gali pagerinti asmenį, bet jis neturėtų jį pakeisti, ypač labiausiai pažeidžiamose mūsų psichikos srityse. P.S. Who This Article Is For Šis straipsnis pirmiausia skirtas ir bendruomenės – tiems, kurie supranta, kas yra AI ir kaip jis veikia architektūrų, algoritmų ir duomenų lygiu. Machine Learning Information Security Pagrindinė žinutė : Daugeliui, ypač už IT ribų, sudėtingi empatijos ir personalizavimo modeliai gali sukurti tikrų „santykių“ iliuziją.Vartotojai gali nesuvokti, kad jų emocinis ryšys yra vienpusis, sustiprintas metodais, tokiais kaip RLHF, optimizuojantis AI maloniems atsakymams. not all users perceive communication with AI in the same way. Jei vartotojas a suvokia AI kaip patikimą partnerį ir susitinka su Pasekmės gali būti tragiškos. vulnerable psychological state account hack, targeted social engineering, or extreme model hallucinations, Todėl, jei jūs suprantate, kaip AI veikia "po gaubtu", Pasikalbėkite su savo tėvais, vaikais, draugais ir ne IT kolegomis. su Skaitmeninė sistema ir jos svarba Nesvarbu, kaip įtikinamai jie atrodo. share this knowledge. strict data privacy bet kokia critical attitude towards AI responses By raising user awareness, we reduce potential risks.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Data & Case Studies

Šis garso įrašas sukurtas originalia istorijos kalba!

Per ilgai; Skaityti

Boost your HackerNoon story @ $159.99! 🚀

Įsimylėjimas Chatbots yra kitas kibernetinio saugumo košmaras

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps